Gaynor kết hôn với nhà sản xuất phim Paul Gregory từ ngày 24.12.1964 tới khi qua đời ngày 14.9.1984. Các cuộc hôn nhân trước kia là với Adrian, nhà thiết kế trang phục của hãng MGM từ ngày 14.8.1939 tới khi Adrian qua đời ngày 13.9.1959, sau đó với Jesse Lydell Peck từ ngày 11.9.1929 tới ngày 7.4.1933. Gaynor có một con trai chung với Adrian, tên là Robin Gaynor Adrian, sinh năm 1940.

Gaynor là bạn thân của nữ diễn viên Mary Martin, họ thường đi du lịch chung với nhau. Một ký giả người Brasil đã thấy Gaynor và Martin sống với chồng của họ một thời gian ngắn ở tiểu bang Goiás (Brasil) trong thập niên 1950 và thập niên 1960.[2]

Gaynor từ trần năm 1984, ở tuổi 77, do một tai nạn xe cộ ở San Francisco 2 năm trước đó;[3] nhất là do các biến chứng là hậu quả của nhiều cuộc giải phẫu. Trong tai nạn giao thông, một người lái xe tên Robert Cato đã vượt qua đèn đỏ ở góc phố California Street và phố Franklin rồi đâm vào xe taxi hãng Luxor của bà ngồi. Cuộc va chạm này đã giết chết Ben Washer - người quản lý của Mary Martin - và gây thương tích cho các hành khác, trong đó có Paul Gregory chồng của Gaynor, cũng như người bạn thân lâu năm của bà là Mary Martin. Gaynor bị thương nặng, bị gãy 11 xương sườn, gãy 1 xương đòn, gãy xương chậu, bị thương bọng đái và hư thận.[3][4]

Bà được an táng tại Hollywood Forever Cemetery ở Hollywood, California bên cạnh người chồng thứ hai Adrian, nhưng trên tấm mộ bia ghi là "Janet Gaynor Gregory" để tỏ lòng tôn kính người chồng thứ ba, đạo diễn kiêm nhà sản xuất phim Paul Gregory.